Năm 1926, khi còn đang theo học ở trường trường Collège de Cần Thơ, ông tham gia hoạt động cách mạng.

Tháng 6/1927, ông được tổ chức cử sang dự lớp huấn luyện chính trị khoá III Hội Việt Nam Cách mạng Thanh niên do Nguyễn Ái Quốc mở ở Quảng Châu (Trung Quốc).[2]

Trong thời gian dự khoá huấn luyện ở Quảng Châu, Nguyễn Thanh Sơn được kết nạp vào tổ chức Việt Nam Thanh Niên Cách mạng Đồng chí Hội do Nguyễn Ái Quốc sáng lập. Xong khoá huấn luyện, ông trở về nước hoạt động, được tổ chức phân công về vùng Cao Lãnh, Sa Đéc (nay thuộc Đồng Tháp) hoạt động tuyên truyền hội viên. Tại đây, ông đứng ra tuyên truyền vận động cách mạng trong giới học sinh, trí thức, thợ thuyền.

Trung tuần tháng 9 năm 1929, tại Bình Thủy (Cần Thơ) một cuộc hội nghị thành lập Đặc uỷ An Nam Cộng sản Đảng Hậu Giang do ông Châu Văn Liêm, Bí thư lâm thời Trung ương An Nam Cộng sản Đảng chủ trì. Hội nghị bầu ra Ban chấp hành đặc uỷ Hậu Giang đầu tiên gồm có: Ung Văn Khiêm, Hà Huy Giáp, Nguyễn Văn Tây (Nguyễn Thanh Sơn), Lê Văn Sô, Nguyễn Văn Trí do ông Ung Văn Khiêm làm Bí thư. Ông được phân công phụ trách vùng Sa Đéc, Cao Lãnh. Tại đây, ông xây dựng được một chi bộ An Nam Cộng sản Đảng.

Tháng 2 năm 1930, Đảng Cộng sản Việt Nam được thành lập, ngay sau đó chi bộ Đảng cộng sản vùng Cao Lãnh cũng được chính thức thành lập, gồm có 3 đảng viên: Nguyễn Văn Tây, Nguyễn Văn Thiệt, Trần Thị Thơ. Ông làm Bí thư.

Để hỗ trợ công tác, ông tiếp tục phát triển tờ báo "Lao Nông" (được phát hành bí mật từ thời kì An Nam cộng sản Đảng).

Thực hiện nhiệm vụ chi bộ đề ra, các đảng viên phân công nhau về địa phương tuyên truyền gây dựng cơ sở cho hội, hướng dẫn quần chúng đấu tranh chống thực dân Pháp đòi quyền dân sinh, dân chủ.

Tháng 5/1930, ông cùng các đảng viên trong chi bộ tổ chức một cuộc biểu tình lớn huy động trên 4.000 người tham dự, với khẩu hiệu "Ngày 1 tháng 5 muôn năm", yêu sách đình thuế hai tháng, phải bỏ các phạt vạ vô lý. Cuộc biểu tình đã gây được ảnh hưởng lớn. Sơ thảo lịch sử Đảng Cộng sản Việt Nam có đánh giá về cuộc biểu tình này là một trong những cuộc biểu tình đã ảnh hưởng lớn đến phong trào trong cả nước.

Sau cuộc biểu tình đó, ông tiếp tục dẫn một lực lượng hỗ trợ cho một số cuộc biểu tình khác ở Long Xuyên, Cần Thơ. Sau đó, ông được trên phân công về chỉ đạo phong trào cách mạng ở các tỉnh miền Đông Nam Bộ.

Tháng 6/1930, ông được cử làm Bí thư tỉnh Gia Định.[3]

Đến tháng 2/1931, ông được cử giữ chức Bí thư Xứ uỷ Nam kỳ. Cuối tháng 4/1931, ông bị bắt, bị kết án tù chung thân khổ sai, đày ra Côn Đảo.

Năm 1936, Mặt trận bình dân Pháp lên cầm quyền, ban bố một số quyền tự do dân chủ, ân xá chính trị phạm, ở trong nước phong trào đấu tranh công khai đòi quyền dân sinh, dân chủ, đòi thả tù chính trị phạm phát triển mạnh. Trước các phong trào đấu tranh đó và Mặt trận bình dân Pháp đang thắng thế, nhà cầm quyền Pháp buộc phải thả một số tù chính trị phạm, ông và hàng trăm chiến sĩ cách mạng bị đày ra Côn Đảo được trả tự do.

Trở về đất liền, ông tham gia hoạt động công khai tại Sài Gòn, tổ chức nhà xuất bản " Tiền phong thơ xã ", xuất bản báo " Avant-Garde ", tờ báo của Trung ương Đảng cộng sản Đông Dương lúc bấy giờ. (sau đổi là Le Peule: Báo Dân Chúng), chủ nhiệm tờ " Đông Dương tạp chí ". Tạp chí này xuất bản theo Chỉ thị của đồng chí Nguyễn Văn Cừ - Tổng Bí thư của Đảng lúc đó.

Từ tháng 9/1939, ông rút vào hoạt động bí mật, hoạt động ở vùng Tri Tôn, Bảy Núi, U Minh Thượng. Sau khởi nghĩa Nam Kỳ, địch ra sức khủng bố, cơ sở Đảng, cách mạng từ trên xuống hầu như bị tan vỡ. Đầu năm 1941, cơ sở Đảng, cách mạng dần dần hồi phục. Giữa năm 1941, Liên tỉnh uỷ Hậu Giang được thành lập đồng chí Bùi Văn Dự làm Bí thư, Nguyễn Truyền Thanh (Ba Lê) làm Phó bí thư, ông giữ nhiệm vụ Uỷ viên Liên tỉnh.

Đầu năm 1945, ông làm Bí thư liên tỉnh uỷ Hậu Giang, xứ uỷ viên xứ uỷ Nam Kỳ, chỉ đạo tổng khởi nghĩa Cách mạng Tháng Tám năm 1945 ở các tỉnh miền Tây.